Yết Kiêu tên thật là Phạm Hữu Thế, quê tại làng Hạ Bì, tổng Phương Duy, huyện Gia Lộc, tỉnh Hải Dương (nay thuộc xã Yết Kiêu, huyện Gia Lộc, tỉnh Hải Dương). Quê mẹ của ông ở làng Đồng Nổi (Lang Động) (nay là làng Song Động, xã Tân An, huyện Thanh Hà, tỉnh Hải Dương).[cần dẫn nguồn] Có nhiều truyền thuyết trong dân gian về cuộc đời và những chiến tích của ông. Theo đó, Yết Kiêu sinh ra trong một gia đình nghèo, mẹ mất sớm. Từ nhỏ, ông đã phải lăn lộn trên sông nước để kiếm sống và nuôi cha bệnh tật. Ông là gia nô trung thành và cận vệ đắc lực cho Trần Hưng Đạo.

Tương truyền, ông nhà nghèo, hằng ngày ông phải đi mò cua bắt ốc, bắt cá đem bán lấy Tiền đong gạo nuôi thân. Ông có sức khỏe và dũng cảm lạ thường. Một hôm thấy hai con trâu trắng đang húc nhau trên bãi cát, ông dùng đòn gánh phang, cả hai con trâu chạy biến xuống nước. Ông mới biết hai con trâu mình vừa đánh là trâu thần, sờ lại đầu đòn gánh thì thấy còn dính vài cọng lông, ông liền nuốt lấy, từ đó mà ông bơi lặn giỏi. Ông lội nước hàng mấy dặm như đi trên đất và thường lặn lội bắt cá, mò trai cả ngày dưới nước.

Hiện nay vẫn còn đền thờ Yết Kiêu, gọi là đền Quát, thuộc tả ngạn sông Đò Đáy, huyện Gia Lộc, tỉnh Hải Dương, Việt Nam. Tên của ông được đặt tên cho một phố ở Hà Nội, nơi có trường Đại học Mỹ thuật Hà Nội mà thường được biết đến với tên gọi Mỹ thuật Yết Kiêu.